Siedziba owa składała się tak naprawdę z trzech, zakupionych jeszcze w XV wieku przez Antonio Pamphilego budynków, znajdujących się w południowo-zachodniej pierzei Piazza Navona. Ich rozbudowa i modernizacja nastąpiła zaraz po intronizacji papieża Innocentego X w 1644 roku. Projekt powierzono Girolamo Rainaldiemu, który integrując należące do rodu budowle, stworzył jednorodną i stosunkowo prostą fasadę pałacu, akcentując jej część środkową kolumnami w partii parteru i łącząc ją jakby dodatkowym trzonem z kościołem Sant’Agnese in Agone. Ten miał być w przyszłości prywatną kaplicą, a następnie mauzoleum papieskim. Francesco Borromini, autor konkurencyjnego projektu, otrzymał w tym czasie zlecenie stworzenia koncepcji owalnej klatki schodowej, Wielkiej Sali i imponującej galerii ciągnącej się przez całą szerokość pałacu. Reprezentacyjną funkcję, jaką spełniać miała galeria, łącząca komnaty oficjalne z tymi prywatnymi, najlepiej rozpoznać po zmierzchu, gdy oświetlone wnętrze pałacu (Galleria Serliana) na pierwszym piętrze przyciąga wzrok spektakularnym stropem, którego malarską dekorację powierzono innemu znanemu w tym czasie artyście – Pietro da Cortonie.  Imponujące rozmachem, ale też artystyczną jakością freski tego sklepienia opowiadają historię Eneasza według Eneidy Wergiliusza (Historia Eneasza), nawiązując w ten sposób do legendarnej genealogii rodu Pamphilj, którego przedstawiciele przypisywali sobie pochodzenie od wczesnorzymskiego kapłana Numy Pompiliusza.  Musimy przyznać, że wybór pogańskiego mitu mającego podbudować image następcy św. Piotra, wydaje się nad wyraz dziwny, ale sam papież niewiele miał do powiedzenia w tej sprawie. Nad pałacem roztoczyła swój protektorat jego szwagierka, wpływowa i bezkompromisowa Olimpia Maidalchini, której ambicją było bardziej wyniesienie imienia rodu na tle innych rzymskich rodzin niż podkreślanie papieskich cnót właściciela rezydencji. To Olimpia w decydujący sposób wpływała zarówno na artystyczne fundacje Innocentego, jak i na niego samego. I to jej w głównej mierze zawdzięczamy program ideologiczny malowideł zdobiących pomieszczenia pałacu. Z czasem otrzymała go zresztą jako podarunek od papieża, stała się jego właścicielką i wtedy włożyła weń nie tylko fortunę, ale i swe artystyczne ambicje. Wybierała i doglądała artystów, rozdawała zlecenia i dyskutowała nad stroną ikonograficzną każdego z pomieszczeń. Jako najważniejsza postać w Państwie Kościelnym potrzebowała odpowiedniej oprawy dla organizowanych tu przyjęć i spotkań towarzyskich ówczesnych rzymskich elit. To jej w głównej mierze pałac zawdzięczał okres swej największej świetności.

Dekoracja ułożonych w amfiladzie sal pałacu ogranicza się wprawdzie do malowideł podsufitowych i malowanych stropów, ale wykonane one zostały przez utalentowanych twórców XVII stulecia. Należeli do nich Gaspard Dughet, Giacinto Brandi, Giacinto Gimignani, Andrea Camassei, Francesco Mola. I to oni dekorowali poszczególne sale pałacu (Mojżesza, Krajobrazów Morskich, Bachusa, Pejzaży, Orientalną, Owidiusza, Historii Rzymu). Że tematy religijne nie bardzo interesowały właścicielkę, dostrzec możemy choćby w sali Bachusa. Zobrazowany tam mit mówiący o namiętności i ziemskiej miłości urozmaicają widniejące w rogach putta. Co trzymają w rączkach? Biskupią mitrę, kapelusz kardynalski i wreszcie tiarę papieską, co jest nawiązaniem do dumy rodu – papieża Innocentego X, z którym Olimpia przeżywała okresy wielkiej przyjaźni, to znowu wrogości.

Po śmierci Olimpii w 1657 roku pałac stracił na znaczeniu. Jej syn Camillo Pamphilj nie interesował się nim, dbając o własną rezydencję przy via del Corso (Palazzo Doria Pamphilj), a kolejne stulecia i kolejni właściciele nie zmienili tej sytuacji. W XIX wieku rodzina wydzierżawiła gmach Towarzystwu Muzycznemu. Jego ślad zauważymy w jednej z sal, której nazwa wywodzi się od kompozytora Pierluigiego Palestriny.  Przebudowana i unowocześniona, służyła jako sala koncertowa wspomnianego towarzystwa. Od 1920 roku pałac wynajmowany był przez rodzinę ambasadzie Brazylii, która ostatecznie zakupiła go w 1961 roku i do dziś w nim urzęduje.

Obecnie pałac można zwiedzać po wcześniejszym umówieniu się – co najmniej miesiąc przed wizytą.